import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 2.410295 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 1.750914 | Acórdão | 100 |
| 1 | 4.156513 | Agente | 100 |
| 2 | 4.893039 | Arma | 100 |
| 3 | 0.607506 | Arquivo | 100 |
| 4 | 1.259671 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.566091 | Unidade Federativa | Estado | 100 |
| 137 | 1.905924 | Unidade Fiscal | 32 |
| 138 | 5.576455 | Usuário | 100 |
| 139 | 0.817851 | Órgão | 100 |
| 140 | 6.087734 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout |
|---|
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 109 | 0.603436 | Situação especial | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 129.000000 | 129.000000 |
| mean | 2.745862 | 91.364341 |
| std | 3.004511 | 25.008417 |
| min | 0.540412 | 6.000000 |
| 25% | 0.777015 | 100.000000 |
| 50% | 1.861678 | 100.000000 |
| 75% | 3.764815 | 100.000000 |
| max | 19.998699 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 20 | 412.029704 | Contribuinte | 100 | Não |
| 97 | 348.539851 | Registro Desabilitado | 100 | Não |
| 36 | 272.109663 | Empresa | Organização | Pessoa Jurídica REDESIM | 100 | Não |
| 21 | 201.265890 | Contribuinte Contribuinte SIMEI | 100 | Não |
| 86 | 143.896961 | Pessoa Física Cadastro SEFAZ | 100 | Não |
| 119 | 141.979384 | Status de similaridade | 100 | Não |
| 69 | 118.784909 | Item | 100 | Não |
| 22 | 51.319409 | Contribuinte Isento | 100 | Não |
| 19 | 27.977452 | Contador | 100 | Não |
| 27 | 26.396133 | Contribuinte Normal | 100 | Não |
| 50 | 20.196748 | Estabelecimento | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 2.184284 | Acórdão | 5 |
| 1 | 0.529306 | Agente | 5 |
| 2 | 8.106951 | Arma | 8 |
| 3 | 4.092856 | Arquivo | 12 |
| 4 | 4.430551 | Ativa | 9 |
| ... | ... | ... | ... |
| 135 | 0.485401 | Unidade Federativa | Estado | 5 |
| 136 | 0.506720 | Unidade Fiscal | 4 |
| 137 | 7.604069 | Usuário | 4 |
| 138 | 0.479545 | Órgão | 9 |
| 139 | 2.393164 | Evento | 51 |
140 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 113.000000 | 113.000000 |
| mean | 1.237824 | 10.336283 |
| std | 1.116001 | 13.590708 |
| min | 0.095660 | 2.000000 |
| 25% | 0.515522 | 6.000000 |
| 50% | 0.762823 | 8.000000 |
| 75% | 1.545211 | 10.000000 |
| max | 4.999245 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 27.000000 | 27.000000 |
| mean | 18.064665 | 13.444444 |
| std | 23.022536 | 7.159358 |
| min | 5.158010 | 4.000000 |
| 25% | 6.339394 | 7.500000 |
| 50% | 8.061979 | 12.000000 |
| 75% | 19.082756 | 16.000000 |
| max | 113.483314 | 28.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 69 | 113.483314 | Item | 6 |
| 44 | 49.393337 | Endereço Cadastro da SEFAZ | 16 |
| 26 | 42.872773 | Contribuinte IPVA | 6 |
| 19 | 37.393739 | Contador | 16 |
| 70 | 36.013762 | Localização | Local | 16 |
| 42 | 29.817843 | Endereço C115 Energia | 12 |
| 18 | 20.752028 | Consumidor | 13 |
| 50 | 17.413484 | Estabelecimento | 28 |
| 39 | 12.466713 | Endereço | 12 |
| 76 | 11.251166 | Não Contribuinte | 6 |
| 43 | 10.178194 | Endereço C115 Telecomunicação | 12 |
| 15 | 8.780274 | Combustível | 7 |
| 2 | 8.106951 | Arma | 8 |
| 86 | 8.061979 | Pessoa Física Cadastro SEFAZ | 16 |
| 87 | 7.759558 | Pessoa Física REDESIM | 16 |
| 137 | 7.604069 | Usuário | 4 |
| 91 | 7.159674 | Produto | 8 |
| 72 | 6.892204 | Medicamento | 8 |
| 100 | 6.763883 | Representante Legal Jurídico | 25 |
| 53 | 6.408739 | Estabelecimento SEFAZ | 28 |
| 127 | 6.270050 | Tipo de Contribuição | 4 |
| 99 | 5.963530 | Representante Legal Físico | 16 |
| 98 | 5.895136 | Representante Legal | 16 |
| 34 | 5.471928 | Empresa Holding | 25 |
| 102 | 5.215436 | Sanção | 12 |
| 20 | 5.198184 | Contribuinte | 6 |
| 51 | 5.158010 | Estabelecimento REDESIM | 21 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.196461 | Acórdão | 1 |
| 1 | 0.161665 | Agente | 1 |
| 2 | 5.969683 | Arma | 1 |
| 3 | 0.378543 | Arquivo | 1 |
| 4 | 0.143587 | Ativa | 1 |
| ... | ... | ... | ... |
| 135 | 0.127342 | Unidade Federativa | Estado | 1 |
| 136 | 0.158587 | Unidade Fiscal | 1 |
| 137 | 1.670618 | Usuário | 1 |
| 138 | 0.165255 | Órgão | 1 |
| 139 | 0.688623 | Evento | 1 |
140 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 136.000000 | 136.000000 |
| mean | 0.430832 | 1.066176 |
| std | 0.560399 | 0.249509 |
| min | 0.088518 | 1.000000 |
| 25% | 0.153552 | 1.000000 |
| 50% | 0.204684 | 1.000000 |
| 75% | 0.399199 | 1.000000 |
| max | 3.530545 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 4.000000 | 4.0 |
| mean | 21.711530 | 1.0 |
| std | 13.942381 | 0.0 |
| min | 5.969683 | 1.0 |
| 25% | 12.033408 | 1.0 |
| 50% | 23.121813 | 1.0 |
| 75% | 32.799936 | 1.0 |
| max | 34.632812 | 1.0 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 44 | 34.632812 | Endereço Cadastro da SEFAZ | 1 |
| 70 | 32.188977 | Localização | Local | 1 |
| 69 | 14.054650 | Item | 1 |
| 2 | 5.969683 | Arma | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.082373 | Acórdão | data final | 0 |
| 1 | 0.257077 | Agente | name | 100 |
| 2 | 0.089009 | Agente | nome | 100 |
| 3 | 1.132683 | Agente | tem solicitação | 0 |
| 4 | 0.618592 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.090247 | Órgão | 0 | |
| 891 | 0.089651 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 0.963956 | Evento | tem solicitação | 100 |
| 893 | 4.451806 | Evento | código do evento | 90 |
| 894 | 0.493079 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.082373 | Acórdão | data final | 0 |
| 3 | 1.132683 | Agente | tem solicitação | 0 |
| 6 | 0.082653 | Agente | cpf ou cnpj | 0 |
| 9 | 0.089352 | Agente | número de contato | 0 |
| 10 | 0.065482 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.106095 | Órgão | tem matriz | 0 |
| 888 | 0.080704 | Órgão | cnpj raíz | 0 |
| 889 | 0.085351 | Órgão | razão social | 0 |
| 890 | 0.090247 | Órgão | 0 | |
| 891 | 0.089651 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
346 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 811 | 1200.077691 | Status de similaridade | de endereço | -1 | Sim |
| 812 | 1200.101693 | Status de similaridade | grau de similaridade | -1 | Sim |
| 813 | 1200.099049 | Status de similaridade | descrição | -1 | Sim |
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.082373 | Acórdão | data final | 0 | Não |
| 3 | 1.132683 | Agente | tem solicitação | 0 | Não |
| 6 | 0.082653 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.089352 | Agente | número de contato | 0 | Não |
| 10 | 0.065482 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.106095 | Órgão | tem matriz | 0 | Não |
| 888 | 0.080704 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.085351 | Órgão | razão social | 0 | Não |
| 890 | 0.090247 | Órgão | 0 | Não | |
| 891 | 0.089651 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
343 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 869.000000 | 869.000000 |
| mean | 0.394860 | 58.060990 |
| std | 0.642147 | 49.095362 |
| min | 0.064393 | 0.000000 |
| 25% | 0.087045 | 0.000000 |
| 50% | 0.133663 | 100.000000 |
| 75% | 0.332987 | 100.000000 |
| max | 4.805773 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 23.000000 | 23.000000 |
| mean | 26.102928 | 87.043478 |
| std | 22.598632 | 34.205898 |
| min | 5.925633 | 0.000000 |
| 25% | 10.973118 | 100.000000 |
| 50% | 14.079863 | 100.000000 |
| 75% | 32.769870 | 100.000000 |
| max | 82.204267 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 295 | 82.204267 | Endereço Cadastro da SEFAZ | tem similaridade | 100 | Não |
| 170 | 74.170128 | Empresa | Organização | Pessoa Jurídica | tem solicitação | 100 | Não |
| 423 | 55.506654 | Estabelecimento RFB | número de contato | 100 | Não |
| 269 | 55.245611 | Endereço C115 Energia | tem similaridade | 100 | Não |
| 424 | 53.423518 | Estabelecimento RFB | contact number | 100 | Não |
| 428 | 38.326155 | Estabelecimento RFB | telefone | 100 | Não |
| 282 | 27.213584 | Endereço C115 Telecomunicação | tem similaridade | 100 | Não |
| 200 | 26.022268 | Empresa | Organização | Pessoa Jurídica REDESIM | tem matriz | 100 | Não |
| 240 | 25.359455 | Endereço | tem similaridade | 100 | Não |
| 654 | 22.690319 | Registro Desabilitado | excluído por | 100 | Não |
| 206 | 15.748563 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 184 | 14.079863 | Empresa | Organização | Pessoa Jurídica | nire | 100 | Não |
| 363 | 12.562365 | Estabelecimento | foi desabilitado | 100 | Não |
| 38 | 12.361399 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 708 | 12.270873 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 57 | 12.223932 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 35 | 12.124832 | Ativa | tem razão de situação cadastral | 1 | Não |
| 198 | 9.821403 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 712 | 9.317734 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 871 | 9.257684 | Unidade Consumo Telecomunicação | tipo assinante | 1 | Não |
| 216 | 8.472484 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 488 | 6.038614 | Inadimplente | tem inadimplencia | 100 | Não |
| 720 | 5.925633 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.849190 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 2.855651 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 0.673710 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.839015 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.882598 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 135 | 0.662081 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.703194 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 1.759771 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 1.377995 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 139 | 1.263385 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
140 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.673710 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.882598 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 2.828639 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.893212 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.729564 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 3.048739 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-24119449000131-2016_02_04 | 0 |
| 11 | 0.827973 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/1.1 | 0 |
| 12 | 0.729126 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 13 | 1200.013646 | Cidade | Município | http://www.sefaz.ma.gov.br/resource/DOMINIO/Cidade/ABOBORA-BA | -1 |
| 18 | 0.699453 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 31 | 0.639161 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 33 | 0.666667 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/661333 | 0 |
| 46 | 1200.101496 | Endereço REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Endereco/661 | -1 |
| 49 | 0.665700 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 68 | 0.679379 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 71 | 900.587938 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-SE | -1 |
| 72 | 0.971663 | Medicamento | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/315504024 | 0 |
| 73 | 0.755321 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 74 | 3.784842 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 76 | 0.738734 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/29173 | 0 |
| 78 | 0.759227 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 81 | 0.636931 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 83 | 0.710938 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 84 | 3.459726 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 88 | 3.001522 | Pessoa Física RFB | http://www.sefaz.ma.gov.br/resource/RFB/Pessoa/___000000__-AILTO_NECKEL_DE_SOUZA | 0 |
| 89 | 0.763368 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 91 | 0.089875 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/315504024 | 0 |
| 92 | 0.638783 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 94 | 0.784235 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 95 | 0.719234 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 103 | 1.912627 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 104 | 0.789083 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-44853421000130-2022_01_13 | 0 |
| 105 | 0.285163 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 106 | 0.686774 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-33561279000484-2021_12_02 | 0 |
| 107 | 0.870044 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 108 | 0.769082 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12759584-HABILITADO | 0 |
| 117 | 0.640940 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 121 | 0.938693 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 126 | 0.675931 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 127 | 0.629090 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 128 | 0.704833 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 129 | 0.751560 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 130 | 0.664027 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 135 | 0.662081 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.703194 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 1.759771 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 70.000000 | 70.000000 |
| mean | 1.952909 | 4.528571 |
| std | 1.700778 | 7.995871 |
| min | 0.095169 | 1.000000 |
| 25% | 0.826521 | 1.000000 |
| 50% | 1.091275 | 2.000000 |
| 75% | 2.792369 | 5.000000 |
| max | 6.798470 | 48.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 24.000000 | 24.000000 |
| mean | 247.088210 | 11069.208333 |
| std | 709.973822 | 34815.242621 |
| min | 8.537997 | 1.000000 |
| 25% | 14.799454 | 2.000000 |
| 50% | 44.288988 | 9.000000 |
| 75% | 110.521202 | 45.000000 |
| max | 3491.782001 | 158500.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 37 | 3491.782001 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 158500 | Não |
| 44 | 690.612782 | Endereço Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 35 | Não |
| 131 | 469.714615 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 119 | 290.449180 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53370 | Não |
| 70 | 150.616538 | Localização | Local | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 35 | Não |
| 5 | 113.878285 | Atividade Econômica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_CLASSE-ALUGUEL_DE_AERONAVES | 1 | Não |
| 100 | 109.402174 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 34 | 107.399455 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 62 | 92.812466 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 38 | 67.836122 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 42 | 56.684303 | Endereço C115 Energia | http://www.sefaz.ma.gov.br/resource/C115ENERGIA/Endereco/0011671683 | 2 | Não |
| 50 | 46.699575 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 69 | 41.878402 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/100012075131000120452 | 3 | Não |
| 53 | 40.147946 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 6 | 32.349711 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/14_DE_NOVEMBRO-CASCAVEL | 55 | Não |
| 16 | 26.442830 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 17 | 17.358986 | Conceito | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53370 | Não |
| 52 | 14.893521 | Estabelecimento RFB | http://www.sefaz.ma.gov.br/resource/RFB/Estabelecimento/00000000000191 | 54 | Não |
| 93 | 14.517254 | Provedor | http://www.sefaz.ma.gov.br/resource/C115/Provedor/1009876001729 | 1 | Não |
| 39 | 13.141777 | Endereço | http://www.sefaz.ma.gov.br/resource/C115TELECOMUNICACAO/Endereco/98984133486 | 2 | Não |
| 66 | 13.097230 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 51 | 10.310434 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 32 | Não |
| 54 | 9.553456 | Evento Desabilitado | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Evento_Desabilitado/12000000-2015_08_12-2015_08_14 | 2 | Não |
| 36 | 8.537997 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/10010880 | 75 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 3.948483 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.200328 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.794751 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.221783 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.272457 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 135 | 0.916842 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.854707 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.776677 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 0.895609 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 139 | 8.410972 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
140 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 3.948483 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.200328 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.794751 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.221783 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.272457 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 130 | 0.760653 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 135 | 0.916842 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.854707 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.776677 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 0.895609 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
92 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 37.000000 | 37.000000 |
| mean | 2.450376 | 5.864865 |
| std | 1.600817 | 5.968259 |
| min | 0.188343 | 1.000000 |
| 25% | 1.380000 | 2.000000 |
| 50% | 1.922208 | 3.000000 |
| 75% | 2.896441 | 8.000000 |
| max | 6.188722 | 23.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 11.000000 | 11.000000 |
| mean | 14.685244 | 12128.636364 |
| std | 8.034517 | 40087.215120 |
| min | 8.410972 | 10.000000 |
| 25% | 9.868633 | 10.000000 |
| 50% | 11.958714 | 18.000000 |
| 75% | 15.282128 | 54.000000 |
| max | 35.478280 | 132996.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 50 | 35.478280 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 24 | Não |
| 53 | 22.783638 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 24 | Não |
| 37 | 16.364905 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 132996 | Não |
| 38 | 14.199352 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 99 | 12.344960 | Representante Legal Físico | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 87 | 11.958714 | Pessoa Física REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 51 | 11.524994 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 10 | Não |
| 98 | 10.352762 | Representante Legal | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 36 | 9.384504 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/10010880 | 84 | Não |
| 109 | 8.734602 | Sociedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Sociedade/2_SARGENTO-75808870-28898044372 | 18 | Não |
| 139 | 8.410972 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 | Não |